Калибриране на камерата: Всеобхватно ръководство за геометрично компютърно зрение

Калибрирането на камерата е решаващ процес в геометричното компютърно зрение, формиращ основата за много приложения, които разчитат на разбирането на 3D света от 2D изображения. Това ръководство предоставя цялостен преглед на калибрирането на камерата, неговите основни принципи, техники и практически приложения. Независимо дали сте опитен изследовател в областта на компютърното зрение или тепърва започвате, тази публикация има за цел да ви предостави знанията и инструментите, необходими за успешното прилагане на калибрирането на камерата във вашите проекти.

Какво представлява калибрирането на камерата?

Калибрирането на камерата е процес на определяне на вътрешните и външните параметри на камерата. По същество, това е процесът на картографиране на 2D координатите на изображението към 3D световни координати и обратно. Това картографиране е от съществено значение за различни приложения, включително:

• 3D реконструкция
• Добавена реалност
• Роботика и автономна навигация
• Проследяване на обекти
• Медицинско изображение
• Индустриална инспекция

Точното калибриране на камерата е жизнено важно за получаване на надеждни резултати в тези приложения. Зле калибрираните камери могат да доведат до значителни грешки в 3D измерванията и в крайна сметка да влошат работата на системата.

Разбиране на параметрите на камерата

Параметрите на камерата могат да бъдат широко категоризирани в две групи: вътрешни и външни параметри.

Вътрешни параметри

Вътрешните параметри описват вътрешните характеристики на камерата, като фокусно разстояние, основна точка и коефициенти на изкривяване. Тези параметри са присъщи на самата камера и остават постоянни, освен ако вътрешната конфигурация на камерата не бъде променена. Основните вътрешни параметри включват:

• Фокусно разстояние (f): Представлява разстоянието между обектива на камерата и сензора за изображение. Определя зрителното поле на камерата. Обикновено се изразява в пиксели (fx, fy)
• Основна точка (c): Точката върху равнината на изображението, където оптичната ос се пресича. Това е центърът на изображението в идеална, неизкривена камера. (cx, cy)
• Коефициенти на изкривяване на обектива: Тези коефициенти моделират изкривяването, въведено от обектива на камерата. Има няколко вида изкривявания, включително радиално и тангенциално изкривяване. Най-често срещаните са радиалните коефициенти на изкривяване k1, k2, k3 и тангенциалните коефициенти на изкривяване p1, p2.
• Коефициент на наклона: Представлява неортогоналността на осите на сензора за изображение. Това често е близо до нула в съвременните камери и често се игнорира.

Тези параметри обикновено са представени в матрица на камерата (известна също като вътрешна матрица):

K = [[fx, skew, cx], [0, fy, cy], [0, 0, 1]]

където:

• fx и fy представляват фокусните разстояния в x и y посоките, съответно.
• (cx, cy) е основната точка.
• Наклонът обикновено е близо до 0, моделирайки неортогоналността на осите на изображението.

Външни параметри

Външните параметри описват позицията и ориентацията на камерата в световната координатна система. Тези параметри определят трансформацията, която картографира 3D световни точки към координатната система на камерата. Те включват:

• Матрица на въртене (R): Матрица 3x3, която описва ориентацията на камерата по отношение на световната координатна система.
• Вектор на транслация (T): 3D вектор, който описва позицията на центъра на камерата спрямо началото на световната координатна система.

Тези параметри, взети заедно, определят позата на камерата. Връзката между световните точкови координати (Xw, Yw, Zw) и координатните точки на камерата (Xc, Yc, Zc) е дадена от:

[Xc] = R[Xw] + T [Yc] = R[Yw] [Zc] = R[Zw]

Модели на камера

Съществуват няколко модела на камера, всеки от които предлага различни нива на сложност и точност при представянето на поведението на камерата. Най-широко използваните модели са:

Моделът на камерата с отвор

Моделът на камерата с отвор е най-простият и най-фундаменталният модел на камера. Той предполага, че светлинните лъчи преминават през една точка (центъра на камерата или оптичния център) и се проектират върху равнината на изображението. Този модел се характеризира с вътрешните параметри (фокусно разстояние и основна точка) и не предполага изкривяване на обектива. Това е полезно опростяване за разбиране на основните принципи, но често е неадекватно в реални сценарии поради изкривяването на обектива.

Модел на изкривяване на обектива

Реалните камери са засегнати от изкривявания на обектива, предимно радиални и тангенциални изкривявания. Радиалното изкривяване кара правите линии да се извиват, докато тангенциалното изкривяване е причинено от несъвършенства в подравняването на обектива. Моделът на изкривяване на обектива разширява модела на отвора, като включва коефициенти на изкривяване за компенсиране на тези ефекти. Най-често срещаният модел е моделът на радиално-тангенциално изкривяване, известен също като модел на Brown-Conrady, който разглежда следните параметри:

• Коефициенти на радиално изкривяване: k1, k2, k3
• Коефициенти на тангенциално изкривяване: p1, p2

Тези коефициенти обикновено се определят по време на процеса на калибриране на камерата.

Техники за калибриране на камерата

Използват се няколко техники за калибриране на камери, вариращи от прости ръчни методи до сложни автоматизирани подходи. Изборът на техника зависи от желаната точност, наличните ресурси и конкретното приложение. Основните техники включват:

Използване на калибриращи цели

Това е най-разпространеният метод, използващ известен модел (калибрираща цел) за оценка на параметрите на камерата. Процесът включва заснемане на множество изображения на калибриращата цел от различни гледни точки. След това се използват координатните изображения на характеристиките на целта за решаване на вътрешните и външните параметри. Популярните калибриращи цели включват:

• Шаблони на шахматни дъски: Лесни за производство и широко използвани. Точковите характеристики са пресечните точки на квадратите на шахматната дъска.
• Кръгове/Кръгови решетъчни модели: По-малко чувствителни към перспективни изкривявания от шахматните модели и по-лесни за откриване в изображения. Центровете на кръговете се използват като точкови характеристики.
• AprilGrid модели: Широко използвани поради тяхната надеждност при промени в перспективата и гледните точки.

Примери за използване на калибриращи цели могат да бъдат наблюдавани по целия свят. Например, в изследванията на роботиката в Япония, роботизирано рамо може да използва калибриране на шаблон на шахматна дъска, за да подравни камера с неговото работно пространство. В областта на автономното шофиране компаниите в Германия могат да използват кръгови решетъчни модели за калибриране на множество камери, монтирани на превозни средства, за точно възприемане на дълбочината.

Самокалибриране

Самокалибрирането, известно още като автоматично калибриране, е техника, която оценява параметрите на камерата без необходимост от известна калибрираща цел. Той се основава на ограниченията, наложени от епиполярната геометрия между изображения на една и съща сцена. Този подход е полезен, когато калибрираща цел не е налична или е непрактично да се използва. Въпреки това, самокалибрирането обикновено дава по-малко точни резултати в сравнение с методите, използващи калибриращи цели.

Техники за корекция на изкривяване на обектива

Независимо от метода на калибриране, крайният резултат трябва да включва стъпка за корекция на изкривяването на обектива. Тази стъпка има за цел да намали или елиминира изкривяването на изображението, предизвикано от обектива на камерата. Често срещаните техники са:

• Корекция на радиално изкривяване: Коригира изкривяването на варел или възглавничка.
• Корекция на тангенциално изкривяване: Коригира несъответствието на елементите на обектива.
• Прекартяване: Преобразуване на изкривеното изображение в коригирано изображение въз основа на параметрите на калибриране.

Практическо калибриране на камерата с помощта на OpenCV

OpenCV (Open Source Computer Vision Library) е широко използвана библиотека с отворен код за задачи в компютърното зрение, включително калибриране на камерата. Тя предоставя надеждни и ефективни инструменти за извършване на калибриране на камерата, използвайки различни техники и лесно достъпни калибриращи цели.

Ето общ план на процеса с помощта на OpenCV:

1. Заснемане на изображения: Заснемете множество изображения на калибриращата цел (напр. шахматна дъска) от различни гледни точки. Уверете се, че има достатъчно припокриване между изгледите. Като цяло се препоръчват най-малко 10-20 изгледа.
2. Откриване на точкови характеристики: Използвайте функциите на OpenCV (напр. `cv2.findChessboardCorners` за шахматни дъски), за да откриете автоматично точкови характеристики (напр. ъглите на квадратите на шахматната дъска) в изображенията.
3. Прецизиране на точкови характеристики: Прецизирайте откритите местоположения на точковите характеристики, използвайки точност под пиксела (напр. `cv2.cornerSubPix`).
4. Калибриране на камерата: Използвайте откритите 2D точкови изображения и техните съответни 3D световни координати, за да калибрирате камерата. Използвайте функцията на OpenCV `cv2.calibrateCamera`. Тази функция извежда вътрешната матрица (K), коефициентите на изкривяване (dist), векторите на въртене (rvecs) и векторите на транслация (tvecs).
5. Оценяване на калибрирането: Оценете резултатите от калибрирането, като изчислите грешката на препрожектиране. Това показва колко добре калибрираният модел на камерата обяснява наблюдаваните данни от изображението.
6. Деформиране на изображения: Използвайте изчислените вътрешни параметри и коефициенти на изкривяване, за да деформирате заснетите изображения, създавайки коригирани изображения. Функциите на OpenCV `cv2.undistortPoints` и `cv2.undistort` се използват за това.

Примери за фрагменти от код за Python (с помощта на OpenCV) могат лесно да бъдат намерени онлайн. Не забравяйте, че внимателният избор на размер на калибриращата цел (размери), придобиване на изображения и настройка на параметрите по време на процеса са критични елементи за постигане на необходимите резултати.

Пример: В Сеул, Южна Корея, изследователски екип използва OpenCV за калибриране на камери на дронове за анализ на въздушни изображения. Параметрите на калибриране са критични за прецизни измервания и картографиране от въздуха.

Приложения на калибрирането на камерата

Калибрирането на камерата намира приложения в множество индустрии. Това е основна стъпка в много тръбопроводи за компютърно зрение.

Роботика

В роботиката калибрирането на камерата е от съществено значение за:

• Зрение на робота: Позволяване на роботи да разбират своята среда и да взаимодействат с обекти.
• Разпознаване и манипулиране на обекти: Точно идентифициране и манипулиране на обекти в работното пространство на робота.
• Навигация и локализация: Позволяване на роботи да навигират в сложни среди.

Пример: Индустриалните роботи в производствено предприятие в Мюнхен, Германия, използват калибрирани камери, за да взимат и поставят прецизно предмети на производствена линия.

Автономни превозни средства

Калибрирането на камерата е крайъгълен камък в технологията на автономните превозни средства, включително:

• Откриване на ленти: Точно идентифициране на маркировките на лентите и границите на пътя.
• Откриване и проследяване на обекти: Откриване и проследяване на превозни средства, пешеходци и други препятствия.
• 3D възприятие: Създаване на 3D представяне на околната среда на превозното средство за навигация.

Пример: Компаниите за самоуправляващи се автомобили в Силиконовата долина, САЩ, разчитат в голяма степен на прецизно калибриране на камерата, за да осигурят безопасност и надеждност в системите за възприятие на своите превозни средства.

3D реконструкция

Калибрирането на камерата е жизнено важно за генериране на 3D модели на обекти или сцени от множество 2D изображения. Това има значителни приложения в:

• Фотограметрия: Създаване на 3D модели от снимки.
• 3D сканиране: Сканиране на обекти и среди за генериране на цифрово представяне.
• Виртуална реалност (VR) и добавена реалност (AR): Създаване на поглъщащи и интерактивни изживявания.

Пример: Археолозите използват калибрирани камери, за да създават 3D модели на древни артефакти в Рим, Италия, за съхранение и изследвания. Строителните компании в Канада използват техники за 3D реконструкция, базирани на калибрирани камери, за проучване и документиране на строителни обекти.

Медицинско изображение

Калибрирането на камерата се използва в няколко приложения за медицинско изображение, включително:

• Хирургическа навигация: Подпомагане на хирурзи по време на сложни процедури.
• Анализ на медицински изображения: Анализ на медицински изображения (напр. рентгенови лъчи, ЯМР) за диагностика.
• Минимално инвазивна хирургия: Насочване на хирургически инструменти с по-голяма точност.

Пример: Лекарите в болница в Мумбай, Индия, използват калибрирани камери в ендоскопски процедури, за да предоставят подробна визуална информация.

Индустриална инспекция

Калибрирането на камерата се използва за контрол на качеството и инспекция в производствени условия:

• Откриване на дефекти: Идентифициране на дефекти в произведените продукти.
• Измерване на размери: Точно измерване на размерите на обектите.
• Проверка на сглобяването: Проверка на правилното сглобяване на компонентите.

Пример: Производствените предприятия в Шенжен, Китай, използват калибрирани камери за проверка на електронни компоненти на платки, осигурявайки качеството на продукта.

Предизвикателства и съображения

Докато калибрирането на камерата е зряла област, няколко предизвикателства и съображения са решаващи за постигане на оптимални резултати:

• Точност на калибриращите цели: Точността на калибриращата цел директно влияе върху точността на калибриране. Основни са висококачествените цели с точно известни местоположения на точкови характеристики.
• Качество на придобиване на изображения: Качеството на изображенията, използвани за калибриране, значително влияе върху резултатите. Фактори като фокус, експозиция и разделителна способност на изображението играят решаваща роля.
• Стабилност на камерата: Камерата трябва да остане стабилна по време на процеса на придобиване на изображението. Всяко движение може да въведе грешки.
• Калибрираща среда: Уверете се, че калибриращата среда е добре осветена, за да се избегнат сенки или отражения, които могат да попречат на откриването на точкови характеристики. Обмислете въздействието на осветлението върху откриването на характеристики в различни региони на света (например вариации в слънчевата светлина).
• Характеристики на обектива: Някои обективи показват значителни изкривявания. Изборът на подходящи модели на изкривяване и прецизирането на техните параметри е от съществено значение.
• Софтуер и хардуер:** Уверете се, че версиите на софтуера и хардуерната поддръжка са подравнени. Проверете съвместимостта на версията на OpenCV с хардуера, използван във вашия проект.

Най-добри практики и съвети

За да осигурите ефективно калибриране на камерата, следвайте тези най-добри практики:

• Използвайте висококачествени калибриращи цели: Инвестирайте или създайте точни калибриращи цели с точно известни местоположения на точкови характеристики.
• Заснемете разнообразни изображения: Заснемете изображения на калибриращата цел от различни гледни точки, включително различни ъгли и разстояния, като се уверите, че има достатъчно припокриване между изгледите. Това ще помогне за получаване на точна оценка на външните параметри.
• Фокус и осветление: Уверете се, че изображенията са добре фокусирани и правилно осветени.
• Точност под пиксела: Използвайте техники за прецизиране под пиксела, за да намерите точно точкови характеристики.
• Анализ на грешки: Оценете резултатите от калибрирането, като проверите грешката при препрожектиране и вземете предвид други показатели. Прегледайте резултатите от вътрешните параметри и се уверете, че резултатът съответства на спецификациите на камерата (напр. фокусни разстояния).
• Надеждност: Обмислете околната среда. Калибриранията трябва да се извършват по начин, който поддържа инвариантността на условията на външната среда, като температура или светлина.
• Повторно калибриране: Ако вътрешните параметри на камерата се променят (напр. поради смяна на обектива или корекции на фокуса), повторно калибрирайте камерата.
• Редовно тестване: Редовно тествайте калибрирането на камерата, за да откриете потенциални проблеми. Ако разработвате продукт, обмислете включването на проверка на грешката при калибриране в системата.

Бъдещето на калибрирането на камерата

Калибрирането на камерата продължава да се развива, като текущите изследвания се фокусират върху:

• Многокамерни системи: Калибриране на сложни многокамерни платформи, което е все по-често срещано в автономните превозни средства и добавената реалност.
• Калибриране, базирано на дълбоко обучение: Използване на модели за дълбоко обучение за автоматизиране на процеса на калибриране и подобряване на точността.
• Методи без калибриране: Разработване на техники, които не изискват калибрираща цел.
• Динамично калибриране: Разглеждане на предизвикателствата в динамични среди, където параметрите могат да се променят.
• Интеграция с други сензори: Интегриране на калибрирането на камерата с други сензори, като LiDAR, за изграждане на по-надеждни сензорни системи.

Продължаващите постижения в компютърната мощност, заедно с разработването на по-сложни алгоритми, обещават да подобрят допълнително точността, ефективността и надеждността на техниките за калибриране на камерата.

Заключение

Калибрирането на камерата е основен и жизненоважен компонент в геометричното компютърно зрение. Това ръководство предложи цялостен преглед на принципите, техниките и приложенията. Чрез разбирането на концепциите и методите, описани тук, можете успешно да калибрирате камери и да ги приложите в различни реални сценарии. Тъй като технологиите се развиват, важността на калибрирането на камерата само ще продължава да расте, отваряйки вратата за нови и вълнуващи иновации в множество индустрии в световен мащаб.